Powstanie pałacu należy zawdzięczać papieżowi Sykstusowi IV (1471–1484), który co prawda przez historyków uważany jest za marnego pasterza duchowego, ale za to za wielkiego mecenasa sztuki. Obok niej drugą jego słabością była miłość do rodziny. Jego siostrzeniec i nepot Girolamo Riario otrzymał od niego nie tylko tytuły i apanaże, ale też możliwość wżenienia się w mediolańską rodzinę Sforza. Jedynym godnym miejscem pobytu dla młodej pary w Rzymie była miejska rezydencja, którą zaczęto wznosić zaraz po wstąpieniu Sykstusa na papieski tron. Małżonkowie jednak nigdy w nim nie zamieszkali, gdyż prace ciągnęły się nad wyraz długo. Opuszczony i porzucony przez spadkobiercę, dokończony został dopiero w 1520 roku, gdy osiadł w nim hiszpański ambasador, a cały rewir wokół Piazza di Sant’Apollinare stał się hiszpańską enklawą. Wtedy powstał zaprojektowany przez Baldassare Peruzziego dziedziniec pałacowy. W kolejnych latach zmieniali się właściciele, aż wreszcie w 1568 roku pałac – wciąż wymagający wyposażenia i dekoracji – zakupił Marco Sittico Altemps, niemiecki kardynał, przed latynizacją nazwiska znany jako Markus Sitticus Hohenems. Należał on wówczas do najbardziej wpływowych postaci w Rzymie – jego wuj był ongiś papieżem (Pius IV), a kuzyn późniejszym świętym (Karol Boromeusz). Kardynał nakazał pałac powiększyć i odnowić. Swoje pomysły zaczął wcielać w życie przy pomocy budowniczego Martina Longhiego (Starszego). Wtedy powstały też przyciągające wzrok dekoracje loggii piano nobile z namalowaną pergolą, która wydawała się być wielką altaną. Jej ściany zdobią oprócz tego elementy krajobrazowe, putta i nimfy. W niszach arkad parteru kardynał nakazał ustawić greckie rzeźby, a na środku dziedzińca – fontannę. Nie zapomniał też wielokrotnie uwiecznić w kamieniu, jako powtarzający się motyw dekoracyjny, herbu własnego rodu: stojącego na dwóch nogach koziorożca. Tak zaaranżowana pałacowa przestrzeń stała się skarbnicą biblioteczną i miejscem ekspozycji wspaniałej kolekcji sztuki antycznej, której kardynał z pasją się oddawał.

Cały jego majątek, a więc i pałac, odziedziczyć miał jego jedyny syn Roberto. Nie doszło jednak do tego. W Rzymie nastały czasy papieża Sykstusa V. Ten budzący postrach prawodawca ogłosił i wprowadził w życie surowe ustawy obyczajowe, a ponieważ Roberto dopuścił się gwałtu i cudzołóstwa, w wieku 20 lat został skazany na śmierć i ścięty. Pomimo próśb nie udało się ojcu wybłagać miłosierdzia dla swego potomka. Po śmierci kardynała pałacem zajął się jego wnuk Giovanni Angelo, książę Altemps, który w dwóch pierwszych dekadach XVII wieku doprowadził rezydencję do świetności. Stworzył w niej teatr, gdzie odbywały się przedstawienia i koncerty, organizował bale, ale nie zapomniał o tragedii swego ojca. Dał temu wyraz, gdy otrzymał od kolejnego papieża, Klemensa VIII – tego samego, który kazał ściąć Beatrice Cenci i spalić Giordana Bruna, w 1605 roku niezwykły dar. Była nim antyczna urna z domniemanymi szczątkami Aniceta, papieża z II wieku, które odnaleziono w dość tajemniczych okolicznościach. Tak czy inaczej wręczył ją księciu, który właśnie urządzał w jednej z części swego pałacu mały prywatny kościół. Tam też złożono wspomniane relikwie. Męczeńska śmierć papieża Aniceta, który – jak twierdzono (aż do weryfikacji w 2001 roku) – został ścięty mieczem, nasuwała skojarzenia ze śmiercią ojca księcia, nadając kościołowi podwójne znaczenie – miejsca pamięci i miejsca kultu. Być może Klemens VIII w ten właśnie sposób chciał wynagrodzić czyn swego poprzednika i przywrócić dobre imię rodowi Altemps, z którym był blisko spokrewniony dopiero co beatyfikowany Karol Boromeusz.

Kościół pod wezwaniem św. Aniceta, w którym wystawiono relikwie, od strony ulicy był niedostępny i stanowił rodzaj kaplicy pałacowej. Był dziełem znanych i cenionych architektów: Onoria Longhiego  i Girolama Rainaldiego, których zatrudnił Giovanni Angelo. Młody książę nie szczędził też środków na dekorację jego wnętrza, na którą składały się okładziny z różnokolorowych marmurów, masy perłowej i pozłacanych sztukaterii. Freski ścienne ukazujące męczeństwo świętego wykonał natomiast Pomarancio (Antonio Circignani).

Dalsze losy pałacu wiązały się z upadkami i wzlotami rodu, wciąż nękanego problemami finansowymi. Ich efektem było wynajęcie rezydencji (1725–1732) francuskiemu kardynałowi Melchiorowi de Polignac, który wniósł swój wkład w jej dekoracje i wyposażenie. Tu odbywały się występy teatralne i wspaniałe przyjęcia, w tym bankiet z okazji zaślubin króla francuskiego Ludwika XV z polską królewną Marią Leszczyńską.

W pałacowej kaplicy miał natomiast miejsce, w 1883 roku, ślub ostatniej z rodu Altemps Marii Hardouin di Gallese ze znanym, ale niestety niewiernym poetą Gabriele D’Annunzio, który szybko porzucił małżonkę. Kilka lat później pałac został sprzedany Stolicy Apostolskiej na użytek seminarium duchownego, a ta po prawie stu kolejnych latach sprzedała go państwu włoskiemu, które w 1997 roku uczyniło z niego muzeum.

Pałac można obejrzeć jedynie w ramach zwiedzania urządzonego w nim oddziału Museo Nazionale Romano, co należy szczególnie polecić ze względu na imponujący i znakomity w doborze dzieł zbiór sztuki antycznej. Stanowi on efekt pasji kolekcjonerskiej świetnych rzymskich rodów – Mattei, Altemps i Ludovisi.